scaling

扩散模型也能推理时Scaling

对于 LLM,推理时 scaling 是有效的!这一点已经被近期的许多推理大模型证明:o1、o3、DeepSeek R1、QwQ、Step Reasoner mini……但这个说法也适用于扩散模型吗?近日,纽约大学谢赛宁领导的一个团队对这一方向进行了探索。具体

模型 推理 scaling 2025-01-18 21:00  17

视觉模型智能涌现后, Scaling Law 不会到头

Scaling Law 或将终结——这是最近备受热议的话题之一。该讨论最初源自于哈佛大学一篇名为《Scaling Laws for Precision》的论文,其研究表明当下的语言模型在大量数据上经历了过度训练,继续叠加更多的预训练数据可能会产生副作用。

模型 scaling scalinglaw 2024-11-22 11:25  20